Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding
接受不等于速度：训练自由有损推测解码中的长度膨胀
🧭 LLM 推理 · 推测解码效率评估
University of Waterloo
发现 relaxed 推测解码的接受 token 数增加会伴随生成长度膨胀和推理延长，使指标失真，应报告完成长度和验证轮数
📌 工作参考价值（4 点）
- 线上若用 LLM 生成推荐理由、搜索 query 改写、Agent 规划，并用 speculative decoding 加速，不要只报 accepted tokens per round；必须在墙钟时间前先验证是否出现输出长度膨胀，否则吞吐指标会虚高。
- 对预算受限的 Agent 任务（如多步工具调用、长推理链），lossy 验证可能接受低目标模型概率 token，导致推理啰嗦、max_tokens 耗尽而拿不到最终答案；建议优先使用 lossless 或对 token 概率设置更高门槛。
- 评估解码加速方案时，增加 completion length 和 verifier rounds 指标，并与线上真实延迟打点结合；可加长度惩罚、max_new_tokens 约束或后处理截断来控制膨胀。
- 若用于生成式商品文案、推送标题等，lossy 加速可能让输出变冗长，影响点击和转化；建议离线对比输出长度分布和任务指标，避免仅看 accept rate。